Sau khi Golda Meir từ chức tháng 4 năm 1974, Rabin được bầu làm lãnh đạo đảng, sau khi đánh bại Shimon Peres. Sự đối đầu giữa hai lãnh đạo Công đảng này vẫn giai dẳng và họ đã cạnh tranh nhau nhiều lần trong hai thập kỷ tiếp sau cho vai trò lãnh đạo. Rabin kế nhiệm Golda Meir trở thành Thủ tướng Israel ngày 3 tháng 6 năm 1974. Đây là một chính phủ liên minh, gồm Ratz, những người Tự do Độc lập, Phát triển và Tiến bộ và Danh sách Ả Rập vì Bedouins và Villagers. Sự liên minh này, với một đa số tối thiểu, chỉ giữ được trong vài tháng và là một trong số ít giai đoạn trong lịch sử Israel khi các đảng tôn giáo không tham gia liên minh. Đảng Tôn giáo Quốc gia đã gia nhập liên minh ngày 30 tháng 10 năm 1974 và Ratz rút lui ngày 6 tháng 11.

Về chính sách đối ngoại, sự phát triển chính ở thời điểm đầu nhiệm kỳ của Rabin là Thoả thuận Sơ bộ Sinai giữa Israel và Ai Cập, được ký ngày 1 tháng 9 năm 1975. Cả hai nước đều tuyên bố rằng cuộc xung đột giữa họ và tại Trung Đông sẽ không thể được giải quyết bằng vũ lực mà bằng các biện pháp hoà bình [7]. Thoả thuận này diễn ra sau các chuyến đi ngoại giao con thoi của Henry Kissinger và một lời đe doạ ‘đánh giá lại’ chính sách vùng và quan hệ của Hoa Kỳ với Israel. Rabin nhắc lại rằng đó là "một nhiệm kỳ có vẻ vô hại báo trước một trong những giai đoạn quan hệ tồi tệ nhất giữa Hoa Kỳ và Israel."[8] Thoả thuận là một bước quan trọng hướng tới Hiệp định Trại David năm 1978 và hiệp ước hoà bình với Ai Cập được ký năm 1979.

Chiến dịch Entebbe có lẽ là sự kiện gây ấn tượng nhất trong nhiệm kỳ thủ tướng đầu tiên của Rabin. Theo lệnh của ông, IDR đã tiến hành một chiến dịch bí mật tầm xa để giải cứu một máy bay chở khách bị không tặc bởi các chiến binh thuộc nhóm Wadie Haddad của Mặt trận Nhân dân Giải phóng Palestinevà Các tổ Cách mạng (RZ) Đức, và khi ấy máy bay đang ở Uganda của Idi Amin. Chiến dịch này nói chung được coi là một thành công vĩ đại, và tính chất đặc biệt của nó khiến nó trở thành chủ đề của nhiều cuộc bình luận và nghiên cứu.

Tới cuối năm 1976 chính phủ liên minh của ông với các đảng tôn giáo gặp một cuộc khủng hoảng: một cuộc vận động bất tín nhiệm đã được Agudat Israel đưa ra về một mối bất hoà của Sabbath về một căn cứ của Không quân Israel khi bốn chiếc máy bay phản lực F-15 được giao hàng từ Hoa Kỳ và Đảng Tôn giáo Quốc gia đã bỏ phiếu trắng. Rabin giải tán chính phủ và quyết định một cuộc bầu cử mới, sẽ được tổ chức vào tháng 5 năm 1977. Trong lúc ấy hai sự phát triển không may mắn từ dự tính của ông diễn ra: sau cuộc gặp gỡ tháng 3 năm 1977 giữa Tổng thống Hoa Kỳ Jimmy Carter và Rabin, Rabin công khai tuyên bố rằng Hoa Kỳ ủng hộ ý tưởng của Israel về các biên giới phòng thủ. Sau đó Carter ra một giải thích. Một sự "đi xuống" trong quan hệ Hoa Kỳ/Israel tiếp nối sau đó. Mọi người cho rằng sự đi xuống này đã góp phần góp vào thất bại của Công đảng Israel trong cuộc bầu cử tháng 5 năm 1977 [9]. Sự phát triển thứ hai là phát hiện rằng vợ ông, Leah, tiếp tục giữ một tài khoản dollar Mỹ từ những ngày Rabin còn làm đại sứ tại Hoa Kỳ. Theo các quy định tiền tệ của Israel thời kỳ đó, các công dân không được duy trì tài khoản nước ngoài mà không có sự cho phép từ trước. Trước sự kiện này, đã rút lui khỏi chức vụ lãnh đạo đảng và tư cách ứng viên thủ tướng, một hành động khiến ông được ca ngợi như một người có trách nhiệm và chính trực.